ABSTRACT
O Exame Nacional do Ensino Médio (ENEM) possui um modelo de medida restrito, caracterizado pelo postulado de que os itens marcadores de cada domínio se vinculam exclusivamente ao seus domínios-alvo. Estudos pregressos sugerem, por meio de evidências indiretas, que esse modelo não seria válido. No entanto, esse postulado ainda não foi diretamente avaliado. Neste estudo, investiga-se esse pressuposto por meio de análises fatoriais dos itens do ENEM de 2011. Dois modelos foram testados. O primeiro, chamado de estrutura simples de Thurstone, representa o modelo de medida do ENEM. O segundo, de cargas cruzadas, refuta esse modelo. O modelo das cargas cruzadas foi o único que apresentou bom ajuste aos dados de acordo com todos os índices empregados. As evidências encontradas são desfavoráveis ao postulado de cargas fatoriais simples do modelo de medida do ENEM, indicando problemas de validade e na qualidade dos escores produzidos. (AU)
The National High School Examination (ENEM) has a restricted measurement model characterized by the assumption that the marker items in each domain are exclusively linked to their target domain. Previous studies suggest, through indirect evidence, that this model may not be valid. However, this postulate has not yet been directly assessed. In this study, this assumption was investigated through factor analysis of the items of the ENEM 2011 edition. Two models were tested. The first, called Thurstone's simple structure, represents the measurement model of the ENEM. The second, of crossed loadings, refute this model. The crossed loadings model was the only one that presented a good fit to the data according to all the indices employed. The evidence found is unfavorable for the assumption of simple factor loadings of the measurement model of the ENEM, indicating issues of validity and in the quality of the scores produced. (AU)
El Examen Nacional de Enseñanza Secundaria (ENEM) tiene un modelo de medición restringido, caracterizado por el postulado de que los ítems marcadores en cada dominio están vinculados exclusivamente a su dominio objetivo. Estudios previos sugieren, a través de evidencia indirecta, que este modelo no sería válido. Sin embargo, este postulado aún no ha sido evaluado directamente. En este estudio se investiga este supuesto a través del análisis factorial de los ítems del ENEM 2011. Se probaron dos modelos. El primero, llamado estructura simple de Thurstone, representa el modelo de medición ENEM. El segundo, de cargas cruzadas, refuta este modelo. El modelo de carga cruzada fue el único que presentó un buen ajuste a los datos de acuerdo con todos los índices empleados. Las evidencias encontradas son desfavorables al supuesto de cargas factoriales simples del modelo de medición del ENEM, lo que indica problemas de validez y en la calidad de las puntuaciones producidas. (AU)
Subject(s)
Humans , Female , Adolescent , Adult , Young Adult , Students/psychology , Education, Primary and Secondary , Psychometrics , Reproducibility of Results , Factor Analysis, Statistical , Latent Class AnalysisABSTRACT
O Exame Nacional do Ensino Médio (Enem) gera uma pontuação para cada domínio que avalia: matemática, linguagens, ciências da natureza e ciências humanas. Reconhecendo a relevância do exame no acesso ao ensino superior e em outros aspectos da vida prática do estudante brasileiro, o presente estudo investiga a fidedignidade dos escores do Enem nos seus quatro domínios. Utilizou-se como amostra os escores dos estudantes que participaram da edição de 2011 do exame. As análises envolveram a estimação dos parâmetros de um modelo de quatro fatores correlacionados e de um modelo bifatorial por meio de análise fatorial confirmatória, além da estimação da fidedignidade composta e da fidedignidade omega dos quatro domínios e do fator geral de desempenho, no caso do modelo bifatorial. Utilizou-se como variáveis observáveis as 30 competências de cada domínio. Os resultados indicaram alta fidedignidade apenas para os escores provenientes do fator geral
The National Exam of Upper Secondary Education (ENEM) generates a score for each domains it assess: mathematics, languages, natural sciences, and humanities. Considering the relevance of the Exam in the access to higher education and in other practical aspects of Brazilian students' life, the present study investigates the reliability of the scores from the four domains. We used as a sample the scores of the students who participated in the 2011 edition of the Exam. The analyzes involved the estimation of the parameters of an oblique four-factor model and a bifactor model using confirmatory factor analysis, as well as the estimation of composite and omega reliability of the four domains and the general performance factor, in the case of the bifactor model. We used the 30 competences of each domain as observable variables. The results indicated high reliability only for the scores from the general factor
El Examen Nacional de la Secundaria Superior (ENEM) genera un puntaje para cada dominio que evalúa: matemática, lenguage, ciencias naturales y humanidades. Puesta la relevancia del Examen en el acceso a la educación superior y en otros aspectos prácticos de la vida de los estudiantes brasileños, el presente estudio investiga la fiabilidad de los puntajes de los cuatro dominios. Usamos como muestra los puntajes de los estudiantes que participaron en la edición 2011 del Examen. Los análisis incluyeron la estimación de los parámetros de un modelo oblicuo de cuatro factores y un modelo bifactorial utilizando análisis factorial confirmatorio, así como la estimación de la confiabilidad compuesta y omega de los cuatro dominios y el factor de desempeño general, en el caso del modelo bifactor. Usamos las 30 competencias de cada dominio como variables observables. Los resultados indicaron una alta fiabilidad solo para los puntajes del factor general
Subject(s)
Students/psychology , Education, Primary and Secondary , PsychometricsABSTRACT
The objective of this study was to obtain evidence of the convergent and factor validity of the Reduced Scale of Big Five Personality Factors (ER5FP), with 20 items, and of the Reduced Inventory of Big Five Personality Factors (IGFP-5R), with 32 items. The two Brazilian scales were administered to 554 participants aged 1669 years (M = 30.6, SD = 8.6). The measurement model of each instrument was tested using confirmatory factor analysis. Both scales showed an adequate adjustment of the measurement model to the data (root mean square error of approximation < .06; standardized root mean square residual < .06) after excluding a number of items. Correlations between the factors of both instruments were estimated. Moderate evidence of convergent validity was found for Extraversion, Neuroticism, and Openness to Experience (raw correlations ranging from .44 and .57, and disattenuated correlations from .60 to .80). For Agreeableness and Conscientiousness, weaker evidence was found (raw correlations of .33 and .29, and disattenuated correlations of .48 and .43, respectively).
Subject(s)
Humans , Male , Female , Adolescent , Adult , Middle Aged , Aged , Personality Tests , Surveys and Questionnaires , Reproducibility of Results , PsychometricsABSTRACT
Este estudo objetivou obter evidências de validade do Questionário de Esquemas e Crenças da Personalidade (QECP) e estimar a fidedignidade dos escores. Trata-se de um instrumento de autorrelato desenvolvido para avaliar perfis cognitivos de transtornos de personalidade de acordo com a teoria da terapia cognitiva. Participaram do estudo 437 pessoas com média de idade de 28,1 anos (DP=8,57), 75,7% do sexo feminino, e 88,3% universitários. Utilizou-se análise paralela como critério para o número de fatores a extrair-se na análise fatorial exploratória (AFE). A AFE com fatoração dos eixos principais e rotação Promax indicou uma solução com cinco fatores. Os índices de fidedignidade (Lambda 2 de Guttman) variaram entre 0,64 e 0,89. As correlações entre os fatores, corrigidas para atenuação, variaram entre 0,05 e 0,64. A AFE dos escores fatoriais apontou dois fatores de segunda ordem. Os resultados indicaram evidências satisfatórias de validade de construto e fidedignidade dos escores.
This study aimed to obtain validity evidence of the Personality Schemas and Beliefs Questionnaire (QECP) and to estimate the reliability of its scores. The QECP is a self-reported instrument developed to assess the cognitive profiles of personality disorders according to cognitive therapy theory. The sample of respondents was composed of 437 Brazilians with a mean age of 28.1 years (SD=8.57), 75.7% female and 88.3% university students. Parallel analysis was used as a criterion for the number of factors to extract in exploratory factor analysis (EFA). EFA with Principal Axis Factoring and Promax rotation indicated a five factor solution. Reliability coefficients (Guttmans Lambda 2) of the five factors varied between .64 and .89. The correlations between the factors, corrected for attenuation, varied from .05 to .64. EFA of the factor scores indicated two second-order factors. The results indicated satisfactory evidence of construct validity and reliability of the QECP scores.
Este estudio tuvo como objetivo obtener evidencia de validez del Cuestionario de Esquemas y Creencias de Personalidad (QECP) y estimar la confiabilidad de sus puntuaciones. El QECP es un instrumento de autoinforme desarrollado para evaluar los perfiles cognitivos de trastornos de personalidad, según la teoría de terapia cognitiva. Participaron 437 personas brasileñas con edad promedio de 28,1 años (DS=8,57), 75,7% de sexo femenino y 88,3% estudiantes universitarios. Se utilizó análisis paralelo como criterio para el número de factores a extraer en análisis factorial exploratorio (AFE). La AFE de ejes principales con rotación Promax indicó una solución de cinco factores. Los índices de confiabilidad (Lambda 2 de Guttman) oscilaron entre 0,64 y 0,89. Las correlaciones entre factores, corregidas por atenuación, variaron entre 0,05 y 0,64. La AFE de las puntuaciones factoriales indicó dos factores de segundo orden. Los resultados indicaron evidencia satisfactoria de validez de constructo y confiabilidad.